Chùa Đất Sét được xây dựng vào đầu thế kỷ 20, do dòng họ Ngô tự lập để tu tại gia. Ban đầu, chỉ là một am nhỏ bằng cây lá trên một diện tích nhỏ hẹp, và trong sảnh điện thờ cũng rất đơn sơ. Mãi đến đời trụ trì thứ tư là ông Ngô Kim Tòng, am nhỏ mới được tôn tạo, mở rộng và có thêm nhiều tượng thờ như ngày nay.